联合学习(FL)是一种有效的学习框架,可帮助由于隐私和监管限制无法与集中式服务器共享数据时,帮助分布式机器学习。 FL使用基于预定义体系结构的学习的最新进展。然而,考虑到客户端的数据对服务器和数据分布是不可相同的客户端,在集中设置中发现的预定义体系结构可能不是FL中所有客户端的最佳解决方案。在这项工作中受到这项挑战的动机,我们介绍了蜘蛛,这是一种旨在搜索用于联合学习的个性化神经结构的算法框架。蜘蛛是根据两个独特特征设计的:(1)交替地以通用的方式优化一个架构 - 均匀的全球模型(Supernet),一个架构 - 异构本地模型,由基于重量共享的正则化连接到全球模型(2通过新颖的神经结构搜索(NAS)方法实现架构异构本地模型,其可以使用对准确值的操作级别扰动来逐渐选择最佳子网。实验结果表明,蜘蛛优于其他最先进的个性化方法,搜索的个性化架构更加推理效率。
translated by 谷歌翻译